针对图像标注数据集标签分布不平衡问题，提出了基于标签平滑策略的多标签平滑单元（MLSU）。MLSU在网络模型训练过程中自动平滑数据集中的高频标签，使网络适当提升了低频标签的输出值，从而提升了低频标注词的标注性能。为解决图像标注数据集样本数量不足造成网络过拟合的问题，提出了基于迁移学习的卷积神经网络（CNN）模型。首先利用互联网上的大型公共图像数据集对深度网络进行预训练，然后利用目标数据集对网络参数进行微调，构建了一个多标签平滑卷积神经网络模型（CNN-MLSU）。分别在Corel5K和IAPR TC-12图像标注数据集上进行实验，在Corel5K数据集上，CNN-MLSU较卷积神经网络回归方法（CNN-R）的平均准确率与平均召回率分别提升了5个百分点和8个百分点；在IAPR TC-12数据集上，CNN-MLSU较两场 K最邻近模型（2P KNN_ML）的平均召回率提升了6个百分点。实验结果表明，基于迁移学习的CNN-MLSU方法能有效地预防网络过拟合，同时提升了低频词的标注效果。